Large Scale Machine Learning

Cette thèse aborde de façon générale les algorithmes d'apprentissage, avec un intérêt tout particulier pour les grandes bases de données. Après avoir for-mulé leprobì eme de l'apprentissage demanì ere mathématique, nous présentons plusieurs algorithmes d'apprentissage importants, en particulier les Multi Layer Perceptrons, les Mixture d'Experts ainsi que les Support Vector Machines. Nous considérons ensuite une méthode d'entraˆınement pour les Support Vector Machines , adaptée aux ensembles de données de tailles raisonnables. Cepen-dant, l'entraˆınement d'un tel modèle reste irréalisable sur de très grande bases de données. Inspirés par la stratégie " diviser pour régner " , nous proposons alors un modèle de la famille des Mixture d'Experts, permettant de séparer le probì eme d' apprentissage en sous-probì emes plus simples , tout en gardant de bonnes performances en généralisation. Malgré de très bonnes performances en pratique , cet algorithme n ' en reste pas moins difficilè a utiliser , ` a cause de son nombre important d ' hyper-paramètres. Pour cette raison , nous préférons nous intéresser ensuitè a l ' amélioration de l ' entraˆınement des Multi Layer Percep-trons , bien plus facilesà utiliser , et plus adaptés aux grandes bases de données que les Support Vector Machines. Enfin , nous montrons que l ' idée de la marge qui fait la force des Support Vector Machines peutêtre appliquéè a une cer-taine classe de Multi Layer Perceptrons , ce qui nous m ` enè a un algorithme très rapide et ayant de très bonnes performances en généralisation. Summary This thesis aims to address machine learning in general , with a particular focus on large models and large databases. After introducing the learning problem in a formal way , we first review several important machine learning algorithms , particularly Multi Layer Perceptrons , Mixture of Experts and Support Vector Machines. We then present a training method for Support Vector Machines , adapted to reasonably large datasets. However the training of such a model is still intractable on very large databases. We thus propose a divide and conquer approach based on a kind of Mixture of Experts in order to break up the training problem into small pieces , while keeping good generalization performance. This mixture model can be applied to any kind of existing machine learning algorithm. Even though it performs well in practice the major drawback of this algorithm is the number of hyper-parameters to tune , which makes it …